Ông nội của ông là Nguyễn Quang Phát, bà nội là Phạm Thị Trà. Cha là Nguyễn Hữu Điệt. Mẹ là Nguyễn Thị Có (Tư Hiền).[2]

Ông có 11 người con, có người sinh sống ở Đức, hầu hết sinh sống làm ăn ổn định tại Thành phố Hồ Chí Minh. Sau ngày người bạn đời mất, ông buồn bã thường về dưới quê sống

Trong thời gian lưu lại Châu Thành, Tiền Giang, ông đã giúp đỡ cho bà Trần Thị Hiệp (còn gọi là bà Tư bóng), một phụ nữ góa chồng, nuôi năm con rất nghèo với nghề bán vé số dạo nhỏ hơn ông 33 tuổi. Ông quay về Ủy ban Mặt trận Tổ quốc Việt Nam - Thành phố Hồ Chí Minh mượn 30 triệu đồng trả góp trừ lương 2 triệu/tháng để xây một căn nhà khoảng 30m2 ngay nghĩa địa làm nơi sinh sống. Các con của ông kịch liệt phản đối, ông cương quyết với lập trường tình yêu tuổi già nên cuối cùng các con cháu ông phải nhượng bộ[1]